Lưu Phì là con trai trưởng của Hán Cao Tổ Lưu Bang, khai quốc hoàng đế nhà Hán. Lưu Bang lúc còn làm đình trưởng lấy người con gái họ Tào, sinh ra Lưu Phì nhưng không lập làm chính thất, mà lập người vợ khác là Lã Trĩ. Sau khi Hán Cao Tổ lên ngôi phong cho con Lã Trĩ là Lưu Doanh làm thái tử nối ngôi mặc dù Lưu Phì mới là con trưởng. Năm thứ 6 đời Hán Cao Tổ, Lưu Bang đổi Tề vương Hàn Tín làm Sở vương, phong Lưu Phì làm Tề vương, phong cho 70 thành và lập làm chư hầu.